ソーシャルエンジニアリング（個人情報や機密情報の漏えいを目的とした欺瞞行為）は、混乱を起こしたり、違法な金銭のやりとりを画策したりする悪質な行為者にとって、依然として効果的な戦術です。フィッシングやスピアフィッシングを含むこうした悪質な行為は、ディープフェイクのコンテンツを活用し、犯罪の手口が一段と巧妙になっています。
FBIは、このような“悪意ある行為者”が、主に既存のソーシャルエンジニアリングのスキームを容易にするために、AIの技術を幅広く使用するとの見解を示しています。合成コンテンツ（悪意のある目的のために生成・操作されたデジタルコンテンツ）を利用したサイバー攻撃は、莫大な額の被害をもたらし、財政、評判（レピュテーション）、地政学など、さまざまな社会経済面での影響を及ぼす可能性があります。
本稿では、ディープフェイクがもたらす脅威やディープフェイクコンテンツの検出に向け企業が直面する課題、組織がリスクと向き合う必要性、セキュリティリーダーが自社のネットワークで検討できる戦略について解説します。
目次
1．ディープフェイクとは
端的に言えば、ディープフェイクは合成メディアファイルのことを指します。「合成」とは、既存の画像、映像、音声（通常は特定の個人が登場する）を操作し、別の人物の顔や声に置き換えることで、この作業は、生成型人工知能（AI）を搭載したニューラルネットワーク（Generative Adversarial Networks：GANs）を使って行われます。
高度なコンピューティング技術が広く利用できるようになった現在、AIもますます利用しやすくなり、事実上、誰でも非常にリアルなフェイクコンテンツの作成が可能になりました。実際、本物と偽物の垣根は非常に低くなっており、ディープフェイクが個人と組織に大きな損害を与える可能性は増加しています。
ディープフェイク識別の難しさ
GANは、サイバーセキュリティの専門家でも事実上、検出不可能なメディアを作成できます。ディープフェイクを作成・検出するために開発されたモデルに対し、そのうちディープフェイクを適切に識別できるのは1割にも満たないと言われています。大半のモデルは、最も単純な操作で生成された素朴なコピーである「チープフェイク」しか識別できません。
生成AI関連
安価な偽物であれディープフェイクであれ、生成AIモデルの恩恵を受け、経済は大きく変化しました。オープンソースコード、無料のモバイルアプリケーション、オンラインチュートリアル、安価なAIサービスプロバイダーによって、必要なツールへのアクセスが大幅に拡大しています。
その結果、犯罪者は詐欺行為で大金を脅し取り、評判を傷つけ、さらには国家安全保障を破壊する能力を飛躍的に高めました。AIは現在、地図、画像、X線写真の改変、テキストの生成、リアルなアートワークの作成にさえ利用されています。AIが生成したデジタルアバターは、会話をしたり、感情を表したり、リアルな人間のジェスチャーさえ可能になってきています。ディープフェイクは、多様な目的のために簡単に入手できるようになりましたが、すべての目的が善意ではないことには注意が必要です。
2．余興から企業リスクへ
ディープフェイクコンテンツは単にソーシャルメディアやエンターテインメント業界の懸念事項ではなく、今や企業の経営陣の課題でもあります。KPMGが、複数の業界と地域の経営幹部300人を対象に実施した生成AIに関する調査では、回答者の92%が「生成AI導入のリスクに関する懸念は中程度から非常に大きい」と答えています。この調査では、これからのビジネスリーダーにとって最も重要な経営上の課題は、サイバーセキュリティ（53%）、個人データに関するプライバシーへの懸念（53%）、法的責任（46%）の3つであることが判明しました。
FBIは合成コンテンツが、同局が「ビジネスアイデンティティ侵害（Business Identity Compromise：BIC）」と名付けた攻撃手法に使用される可能性があることを示唆しています。この新たなベクトルは、企業や組織に大きな財務的・評判的影響を与える可能性があります。
しかし、残念なことに、多くの企業の意思決定者は、ディープフェイクとそれがもたらす脅威について非常に限定的な知識しか持ち合わせていません。ほとんどのリーダーは、操作されたコンテンツが、事実上すべての業界に影響を及ぼす、すでに起きている問題（将来的な問題ではなく）であることをまだ認識していないと言えます。
ディープフェイクの脅威とそれに伴う財務、風評、サービスへの影響は、企業や機関にとって非常に現実的なものとなっています。技術が驚異的なスピードで向上しているため、ディープフェイク関連の懸念は、かつてのフィッシング詐欺の拡大期よりも急速に広がっています。
3．サイバーセキュリティとリスク緩和のアプローチ
技術革新のペースが速まるにつれ、検知と防御の機会は急拡大している一方、攻撃者の予備軍もこれらの進歩を悪用しています。多くの企業は、ディープフェイクのツールキット、つまり、GAN、オートエンコーダ、生成・識別アルゴリズムにすぐにアクセスできますが、外部規制や社内手続きのために導入のハードルが高まると、悪質な行為者が先にこの機会を利用するかもしれません。
ディープフェイクを含む攻撃は、ソーシャルエンジニアリングの論理的な構成要素と言えます。なぜなら、ディープフェイクがソーシャルエンジニアリングの焦点として使用される場合、ディープフェイクが悪意を持つ可能性が強まるからです。
現時点では、ディープフェイクはサイバーセキュリティの懸念事項の全体から見れば小さな要素ですが、操作されたコンテンツを使った攻撃の発生率は高まっており、最高情報セキュリティ責任者（CISO）とそのチームが関心を寄せています。
緩和策と関連費用
リスク緩和の観点での高度なディープフェイク技術に対する主な懸念は、適切なコンピューティングパワー、フォレンジックアルゴリズム、監査プロセスの維持、必要な人材のための必要な資金です。
CISOは予算と脅威を一致させ、ソフトウェアのアップデートがリリースされたらすぐにインストールするなど、テクノロジーを最新の状態に保つために、意思決定権限を持つ幹部と会話をすることが推奨されます。同様に、組織はゼロトラスト認証と多要素認証プロセスを導入し、これらのサイバーリソースが被害に遭うリスクを最小限に抑える必要があります。
IDを中核とするゼロトラストにより、組織はユーザーが適切に認証されているかを評価し、ユーザーがアクセスしようとしているリソースを分離し、リクエストが信頼されたデバイスからのものか、盗まれたデバイスからのものか、第三者のデバイスからかを判断し、アクセスを許可すべきか否か確信を持って決定できるようになりました。
ゼロトラストの出現は、CISOとそのチームがシステム・アクセスに関連して妥協を想定し、ID、デバイス、データ、およびコンテキストに基づいてセキュリティ上の決定を下すという考え方の転換を意味します。サイバーセキュリティ侵害の平均コストは、ゼロトラストを採用していない組織と比較して、ゼロトラスト手法が成熟している組織の方が安価であったという調査結果も出ています。
4．なぜディープフェイクをめぐる状況は良くなるどころか、悪化しているのか？
リモートワークで高まるディープフェイクへの懸念
セキュリティリーダーの多くは、在宅勤務の従業員は特にコンテンツ操作による攻撃を受けやすいと考えており、オフィスを離れる従業員が増えるなか、困惑の声が上がっています。FBIも、「悪質な行為者がリモート勤務のさまざまなIT・プログラミングの職種に応募し、個人情報、財務情報、その他の機密情報にアクセスするためにディープフェイクを使用している」と警告しています。
さらに悪いことに、ハイブリッドワークによって攻撃対象が拡大し、潜在的に脆弱なエンドポイントの数が増加しています。組織内のシャドーITには、サードパーティのビジネスアプリケーションやサービスとしてのソフトウェアが含まれることが多いですが、CISOやCIOはこのような潜在的な脆弱性への理解が十分とは言えない状況です。
人間という変数
人間は本質的に予測不可能で、コントロールするのが難しい存在です。フィッシングやその他のソーシャルエンジニアリング攻撃がより巧妙になるにつれ、人間の本性を抑制する圧力がますます重要になっています。同様に、サイバーセキュリティに関する従業員、ベンダー、顧客の責任も増大しています。ディープフェイクが蔓延する時代のサイバーセキュリティには、毎年のトレーニングのほか、観察学習や行動強化の技術を活用した持続的な個人的関与が必要です。
サイバーセキュリティの人的要素に投資することで、組織はサイバーセキュリティを意識し、精通するだけでなく、組織の安全維持にコミットすることで、サイバーセキュリティチームを構成する従業員を育成することができます。内部セキュリティ管理は使いやすいものでなければならず、そうでなければ、従業員は手続きを回避しようとしかねません。
組織を保護するための全体的なアプローチには、従業員がサイバーセキュリティの原則を理解し、安全な行動を日常生活の不可欠な一部とすることでセキュリティ強化の役割を受け入れるようにするための、人材への投資が必要です。
5．現実世界におけるディープフェイク
ソーシャルメディアにおける不正は、無数の形で現れます。組織化されていない、もしくは、ゆるく組織化された悪質な行為者が、キーワードやトピックを人為的に盛り上げる目的で本当の身元を隠すプロフィール、「ソックパペット」アカウントを複数作成することが、個々のアカウントにおける欺瞞の始まりとなるケースが多く見られます。悪質な行為者は、実際には存在しない実在の人物を装い、誤解を招くようなメッセージや虚偽のメッセージを投稿します。
これらのプラットフォームでは、悪質な行為者らによる組織的な活動が集中的に行われており、時には国家や政治団体のために活動することもあります。また、これらのグループは、偽情報やその他の有害なコンテンツを広めるため、数百万とは言わないまでも、数十万の「ボット」アカウントを起動することができます。これらの自動化されたアカウントは、しばしば連携し、あたかも正当なもののような外観を持ち、実在の人物によってコントロールされているかのように「いいね！」を押し、フォローし合います。
これらのアカウントからの投稿は多くの場合、人間によって作成されますが、偽アカウントを正当化するために使用される画像の多くは視覚的なディープフェイクであり、だますために作成されたAI生成の写真や動画となっています。こういったビジュアルコンテンツは、市販のオープンソースのGANから、より高度な独自の手法まで、多くのモデルやツールを使って作成することができます。
悪質な行為者が視覚的なディープフェイクを作成する方法は何百通りもあり、より高度な新しいモデルが毎週のように導入され、新興の「ディープフェイク・アズ・ア・サービス」のビジネスモデルの成長を支えています。
コールセンターでの音声詐欺スキームの構造
ほとんどの人は、映像と音声だけで質の低いディープフェイクを見抜くことができます。視覚的な不具合や時々生じる顔のけいれんや不自然な表情など、本当の人物とAIが生成した「ペルソナ」の違いに気づくことができ、映像内で話している人と音声が一致しない場合や、音声が不自然、あるいはロボットのようなこともあります。
しかし、より高品質のディープフェイクは、最も洞察力のある視聴者でも見極めが困難です。高度なディープフェイク手法を使用して生成されたビデオや画像は、大手ソフトウェア会社や著名な大学が開発した、高度なディープフェイク検出プラットフォームでしか識別できないことが多く、このような検出プラットフォームを持っていない視聴者は、架空の存在が広める欺瞞のメッセージ、特に政治的プロパガンダに対して脆弱な状態とならざるを得ません。
前述のプラットフォームは、人の表情、声道、声紋認証をモデル化し、サンプルが生物学的にもっともらしいか、偽物の可能性が高いかを判断し、生成されたテキストに電子透かしを入れたり、人が生成したものではないと思われる単語の選択や文の長さにフラグを立てたりする機能もあります。現在は、高度で検出困難な音声ディープフェイクの作成は、既製のハードウェアと生成AIモデルを使用するだけで、リアルタイムで簡単にできる環境になっています。
行動を起こす：企業が今できること
ディープフェイクは、財政的にも経営的にも組織を不安定にする要因となり得ます。企業は、拡大する規制環境に対応するだけでなく、合成コンテンツや操作されたコンテンツがもたらすアクセスリスクやアイデンティティリスクの増大に対処するため、システム、データ、インフラの安全性を高める新たなプロセス、ツール、戦略を検討することが推奨されます。
クラウドベースのゼロトラストが主流となる近い将来、ユーザーはもはや、永続的な仮想プライベートネットワーク接続を通じて「ネットワーク上」にいる必要はなくなります。条件付きアクセスは、ユーザーが使用するデバイスや、組織が実装する認証および意思決定プロセスへの信頼と保証からもたらされるようになり、この新しい現実において、セキュリティの専門家が警戒すべきは、悪質な行為者と、生体認証やその他のID検証ソリューションを無効にするためにディープフェイクを使用しようとする試みだと言えます。
広範囲にわたる脅威
ディープフェイクは、企業、消費者、政府のエコシステム全体にわたり、財政、セキュリティ、評判、ブランド、さらには国家主権を危険にさらします。
6．結論：カギは自覚と適応力
AIには無限の可能性がある半面、技術革新をもたらすテクノロジーは、それを悪用しようとする者たちも利用可能だという点に十分留意しなければなりません。生成AIモデルは、人を欺いたり（もしくは助けたり）するために、驚くほど正確で信頼に足る仕事を担うべく、学習することができるのです。
企業の観点から見ると、AI、ML（機械学習）、ディープラーニング（深層学習）に関連する課題は、こうした脅威や悪意のあるソフトウェア攻撃を検知し、対応するため、既存のシステムを増強することにあります。一般的に、セキュリティ組織は、自動化された方法でこれらの脅威を予測、検出、対応する能力において遅れをとっています。そこで、ディープラーニングシステムの力を活用することで、サイバーセキュリティシステムが継続的に脅威を検知する能力を確保することができます。セキュリティの専門家にとって重要なのは、サイバー犯罪者がこれらのツールを使用するペースとスピードを理解し、それに追いつくことだと言えるでしょう。
本稿は、KPMG米国が2023年に発表した「Deepfakes:Real threat」を翻訳したものです。翻訳と英語原文に齟齬がある場合には、英語原文が優先するものとします。また、本文中の数値や引用は、英語原文の出典によるものであることをお断りします。
全文はこちらから（英文）
